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I SYSTEME D'lNSERTlON EN TEMPS REEL OU DIFFERE DE PANNEAUX PUBUCITAIRES OU 
INFORMAT10NNELS VIRTUELS DANS DES EMISSIONS TELEVISEES. 

57) Systeme d'insertion en temps reel ou differe de pan- 
neaux publicitaires ou infonmatfonnels virtuels dans des 
emissions televisees. 

II est constitue de Integration: 

. d'un systeme de cameras dotees d'un systeme caracte- 
riserant mathematiquement les mouvements de la camera 
et I'etat de son optique, et eventuellement de la distance 
des objets filmes. 

. d'un systeme de contrdle du systeme de camera 
connalssant en temps reel I'etat de toutes les cameras et 
permettant le calage de ceiles-cl sur un repere spatial fixe, 
ainsi que le reperage relatlf a celuk;! de chaque panneau 
visible dans leurs champs respectifs, puis de cafculer en 
temps reel la position dans leur champs respectifs de tout 
objet caracterlse dans la phase preceaente. 

. d'un systeme d'insertion au vol qui sur la base des ima- 
ges transmise par le systeme de camera, des informations 
centralisees evou caJculees par le systeme de contndle, et 
du cahier des charges d'insertion, fnserera les panneaux 
virtuels dans les zones de I'lmage. 

. d'une regie Image finale standard permettant la realisa- 
tion en vue de diffusion de I'evenement televise. 
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La presente invention concerne un systfeme permettant P insertion en temps reel ou differe de 
panneaux publicitaires ou informationnels virtuels dans des Emissions t6!6vis6es, oil la 
presence d* annonceurs publicitaires est frequente (evenements sportifs par exemple). 

Les grands tenements televisuels representent un support publicitaire majeur pour 
5 P ensemble des annonceurs. Sexploitation des espaces publicitaires constitue une des 
retombees essentielles pour les proprietaires des droits de diffusion de ces evenements. 
Jusqu'i present, les espaces alloues sont des espaces physiques (panneaux, icrans, 
banderoles, etc. ). 

Aujourd'hui le traitement informatique de Pimage permet de « virtualiser» ces panneaux, 
10 c'est a dire d'ins&er informatiquement a des endroits determines dans Pimage, tout en 
respectant les mouvements de cameras (travelling, zoom, etc ..), des panneaux publicitaires 
virtuels. 

L'inttret d'une telle approche est multiple : 

* il est possible, lors d'une diffusion mternationale, de personnaliser la diffusion suivant 
1 5 chaque pays diffuseur et sa legislation. 

♦ La gestion de Pespace est totalement flexible. II est ainsi possible de multiplier le nombre 
d f annonceurs sur un meme « panneau » en partageant cet espace virtuel. 

♦ La dynamique . des messages elle-m6me (et done leur impact publicitaire) peut etre 
grandement am£lioree (couleur, animation, evolution). 

20 La chaine de production d'un evenement t£levis6 va de la camera, jusqu'& la station de 
diffusion, en passant par la regie. 

Dans les syst&mes existant d' insertion de publicite virtuelle, le traitement s'effectue au 
travers de mScanismes algorithmiques de reconnaissance de forme, apres que Pimage ait 6t6 
saisie par des cameras. Une telle approche necessite des systfemes materiels d€di€s de 
25 traitement informatique de Pimage (hardware specialist), et des logiciels de reconnaissance 
de forme trfcs sophistiques et gourmand en ressources informatiques. L*efficacit£ de tels 
systfcmes (ils ne sont pas encore k cette date operationnels en temps reel), comme leur cout. 
est aujourd'hui victime de leur lourdeur. 

La vraie difficulty de ce type de systeme est done d'effectuer en temps reel et & moindre cout 
30 ces insertions virtuelles de qualite. 

Le systfcme selon Pinvention permet d'apporter une solution ace problfeme. 

L'innovation est ici de remonter vers Pamont de la chaine de production de Pimage, e'est & 
dire jusqu'a la camera. Le systeme selon Pinvention est constitue de plusieurs sous-systfemes 
communiquants, s'inserant dans la chame de production de Pimage. 
35 A -LE SbUS-SYSTEME DE cameras (rSterence dessin I ): 

• Au lieu de cameras « standards », le systfcme utilise des cameras particulieres dottes d'un 
systfcme du type « contrdle de mouvements » (en anglais « motion control »). Ce genre de 
systfcme permet de caract6riser de manifere extremement precise, les mouvements et les 
operations de la dite camera (mouvements, travelling, rotation, zoom, etc ..). Ceci signifie 

40 qu'5 chaque instant, Petat de la camera - e'est & dire sa position dans Pespace, et le 
reglage de son systeme optique - est connu de maniere deterministe et codable 
mathematiquement. Ces cameras peuvent aussi etre dotees de capacites telemetriques. 
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♦ Grace a un tel systfcme, on peut - k partir du moment ou Ton a « cate » au depart, k la 
maniere d'un geomitre, chaque camera sur un repere spatial fixe determine du site de 
Pevenement sportif - connaTtre k chaque instant la position dans ou par rapport k Timage 
de ce repSre spatial, position qui peut etre caract^risee par des coordonnees spatiales 

5 (X,Y,Z). Le sous-systfcme camera pourra etre utilise directement pour effectuer ce calage. 

♦ De la meme mantere, on est k meme de connaitre k chaque instant la position (et done les 
coordonnees relative dans Timage) de tout objet visible dans le champ de chacune des 
camera dont on aura caracterise au depart les coordonnees spatiales dans ce meme repfcre. 

♦ Les objets auxquels nous pensons, sont evidemment les panneaux - ou les emplacements 
10 de panneaux virtuels - dans lesquels l'insertion video devra etre faite. Ces panneaux 

correspondent done k des espaces, et/ou meme k des objets dont la forme peut etre 
caracterisee par des coordonnees spatiales d'un certain nombre de ses points et d'autres 
quantites math&natiques (longueur, largeur, etc.). 

• La texture de ces objets peut si necessaire etre con^ue pour faciliter le processus 
15 d'insertion video (par exemple, avec des fonds bleu). Mais les panneaux reels peuvent 

cependant parfaitement contenir des messages propres, sans que cela gdne le processus 
d'insertion, 

* Dans ce dernier cas, le contenu r6el des panneaux dans les conditions optiques de leur 
calage dans le repfere spatial du site peut €tre acquis puis stocks (par exemple au niveau 

20 du « sous-systeme d'insertion »), afin de faciliter le processus d'insertion final. 

B - LE SOUS-SYSTEME DE controle des CAMERAS (reference dessin 2) : 

* Les cameras dot£es du mecanisme de controle de mouvements sont reliees k un 
calculateur exploitant un processus informatique agissant comme le « moniteur » de 
Pensemble des cameras. II est done k meme k chaque instant de connaitre I'etat de chaque 

25 camera et partant la position de leur reperes spatiaux respectifs dans les images qu'elles 
transmettent, et par-li meme de tout objet positionn6 dans ces repferes. 

♦ C'est done grace a ce sous-syst^me que d'une part est d'abord effectue le calage des 
cameras et que sont d&erminees les coordonnees des panneaux, et que d' autre part est 
calculee k chaque instant la position des panneaux dans le champ de chaque camera. 

30 C - LE sous-SYSTEME d'insertion (reference dessin 3): 

* Ce sous-systfcme est lui aussi consume d'un ou de plusieurs calculateur(s) exploitant un 
processus informatique dont la tache est d'operer les insertions en temps reel sur la base, 
d'une part des images transmises par les cameras (au travers si necessaire de la r6gie 
vid£o), et d'autre part des informations transmises par les sous-syst6me de contrdle des 

35 cameras - k savoir les coordonnees dans les images des panneaux k insurer, ainsi que 
d'autres informations (comme I'identite de la camera, noms des objets, etc.), et d'autres 
informations locales. 

* Ce(s) sous-systftme(s) possfede(net) par ailleurs d'autres informations k la fois Itees aux 
objets, aux contenus reels de ces objets, aux contenus prtvus, aux conditions 

40 d* incrustations, bref toute reformation caracterisant « le cahier des charges » de 
I'exploitation publtcitaire de l'ev£nement (contenu, horaires et frequences, annonceurs, 
etc 

• C'est sur la base de ces deux types d'informations que le(s) sous-systfcme(s) d'insertion 
procSde(nt) au vol k I' incrustation finale. Cette incrustation s'effectue de maniSre k 

45 respecter tant les deformations geometriques des panneaux dans I'image (perspective par 
exemple) que tout obstacle s'interposant entre la camera et le panneau (par exemple un 
joueur). 
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• II peut y avoir autant de sous-syst£mes d'insertion que de territoires de diffusion 
difterents 

D - LA REGIE IMAGE FINALE (reference dessin 4) : 

Que Tinsertion soit faite en amont ou en aval de celle-ci, les images sont k la disposition de 
5 la regie image finale, c'est & dire du realisateur qui execute sa tache comme il Paurait fait k 
partir d'images produites par un systfeme standard. Le phenomfene d* incrustation est done 
transparent aux yeux du realisateur. 

Remarque 1 : Le systfcme tel qu'il est decrit ci-dessus permet d'effectuer les insertions 
publicitaires en amont de toute operation de diffusion. II peut cependant parfaitement etre re- 
10 architecture pour permettre k un ou plusieurs diffuseurs nationaux d'effectuer eux memes en 
local leurs propres incrustations avant d'operer la diffusion des images finales sur leur 
propre territoire. Dans ce cas, le systfcme fonctionne de la manure suivante : 

• le sous-systfime camera fonctionne de la meme maniere que precedemment, le sous- 
systeme de contrdle consolide les informations provenant du sous-systfcme camera, 

15 ♦ les images plus les dites informations sont transmises par des systftmes de 
telecommunication (par exemple sateilitaires).et distributes vers les stations receptrices 
de chaque diffuseur national, Celui-ci dispose alors de toutes les informations necessaires, 
et les transmet k son propre sous-systfcme d'insertion qui, sur la base de son propre 
« cahier des charges », optrera ses propres insertions au vol, 

20 * Et pourra ensuite confier ses images k sa propre realisation avant de les diffuser sur son 
territoire. 

Remarque 2 : Les deux processus informatiques de controle des cameras et d' insertion au 
vol peuvent etre expioites par le meme calculateur. 

Tel qu'il est decrit, le syst£me propose permet done d'effectuer en temps reel de maniere 
25 efficace et economique : 

• I' identification des panneaux 

• leur suivi dans r image de chaque camera 

• Tinsertion du panneaux virtuels en respectant les obstacles eventuels 

Les dessins annexes i I lust rent Tinvention. 

30 La planche 1/3 illustre k titre d'exemple |e fonctionnement du systeme propose dans le cas 
ou la r^gie video est situee en aval du sous-syst^me d' insertion. 

La planche 2/3 illustre k titre d'exemple le fonctionnement du systeme propose dans le cas 
qu la regie video est situee en amont du sous-systfeme d' insertion 

La planche 3/3 illustre k titre d'exemple le fonctionnement du systfcme propose dans le cas 
35 ou le(s) sous-systfeme(s) d' insertion est(sont) distant(s). 
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REVENDICATIONS 



1. Systfcme dMnsertion en temps reel de panneaux publicitaires ou informationnels virtuels 
dans des images d^venements teievisuels caracterise en ce quMI consiste en r integration: 

(a) d'un sous-systfcme. de cameras (1) chacune dotee du systime dit de contrdle de 
mouvement permettant de caracteriser mathematiquement les mouvements de la camera 

5 ainsi que retat de son optique (l'£tat de la camera), voire la distance des objets 
(telem&rie). 

(b) d'un sous-systeme calculateur (2) exploitant un processus informatique de controle du 
sous-systfcme de cameras ayant h connaitre en temps reel de retat de chaque camera et 
permettant dans un premier temps le calage de chaque camera sur un repdre spatial fixe, 

1 0 ainsi que la caracterisation spatiale par rapport k ce repire de chaque panneau visible dans 
le champs de chaque camera, et dans un deuxifcme temps de pouvoir calculer en temps 
reel la position dans IMmage de chaque camera - quel que soit son fitat - de tout objet qui 
aurait ete caracterise dans la phase precedents 

(c) d'un (ou de plusieurs) sous-systfeme(s) . calculateur (3) exploitant un processus 
15 informatique dit dMnsertion au vol qui, sur la base des images transmise par le; sous- 

systfeme de camera, des informations centralisees et/ou calculees par le sous-syst£me de 
controle, et du cahier des charges publicitaire resultant du contrat entre le 
proprietaire/diffuseur des images et les annonceurs, insere(nt) les panneaux virtuels 
prevus dans les zones de IMmage correspondant aux panneaux de support publicitaires. 
20 (d) d'une regie image finale standard permettant la realisation en vue de diffusion. 

2 -Systfeme selon la revendication 1 caracterise en ce que le sous-systeme de cameras est en 
permanence sous le controle du sous-systeme de contrdle des cameras auquel il est 
connecte. 

3-Systfcme selon la revendication 1 et 2 caracterise en ce que le(s) sous-systfeme(s) 
25 dMnsertion au vol est(sont) en permanence connecte(s) au sous-systeme de camera qui 
lui(leur) transmet les images (iventuellement via la regie video), ainsi qu'au sous systfcme 
de controle qui lui(leur) transmet les informations spatiales necessaires aux operations 
dMnsertion. 

4 - SystSme selon les revendications precedentes caracterise en ce que le(s) sous-systeme(s) 
30 dMnsertion au vol est(sont) connects) en permanence a la regie image finale. 

5 - Systfeme selon Tune quelconque des revendications precedentes, caracterise en ce que 
le(s) sous-systfcme(s) dMnsertion au vol peu(ven)t etre en un(des) lieu(x) distant(s) des 
sous-systemes cameras, contrdle et regie finale, et h qui les informations temps r6el 
n&essaires sont envoyees par des moyens de telecommunication, en vue d'effectuer les 

35 insertions sur la base de cahier des charges propres, avant diffusion des images sur ce(s) 
territoire(s) distant(s). 

6 -Syst^me selon Tune quelconque des revendication precedentes caracterise en ce que le 

couple sous-systeme dMnsertion au vol/regie image peut etre reproduit k IMdentique 
architecture dans des lieux ou territoires de diffusion differents sur lesquels seraient 
40 effectuees la realisation finale ainsi que les insertions sur la base de cahier des charges 
propres avant diffusion des images. 
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